Although many studies have successfully applied transfer learning to medical image segmentation, very few of them have investigated the selection strategy when multiple source tasks are available for transfer. In this paper, we propose a prior knowledge guided and transferability based framework to select the best source tasks among a collection of brain image segmentation tasks, to improve the transfer learning performance on the given target task. The framework consists of modality analysis, RoI (region of interest) analysis, and transferability estimation, such that the source task selection can be refined step by step. Specifically, we adapt the state-of-the-art analytical transferability estimation metrics to medical image segmentation tasks and further show that their performance can be significantly boosted by filtering candidate source tasks based on modality and RoI characteristics. Our experiments on brain matter, brain tumor, and white matter hyperintensities segmentation datasets reveal that transferring from different tasks under the same modality is often more successful than transferring from the same task under different modalities. Furthermore, within the same modality, transferring from the source task that has stronger RoI shape similarity with the target task can significantly improve the final transfer performance. And such similarity can be captured using the Structural Similarity index in the label space.

可区分的仿真是用于基于快速梯度的策略优化和系统识别的有前途的工具包。但是，现有的可区分仿真方法在很大程度上已经解决了获得平滑梯度相对容易的方案，例如具有光滑动力学的系统。在这项工作中，我们研究了可区分的模拟所面临的挑战，当时单个下降不可行，这通常是全球最佳的，这通常是接触率丰富的方案中的问题。我们分析包含刚体和可变形物体的各种情况的优化景观。在具有高度可变形的物体和流体的动态环境中，可区分的模拟器在空间的某些地方生产具有有用梯度的坚固景观。我们提出了一种将贝叶斯优化与半本地“飞跃”相结合的方法，以获得可以有效使用梯度的全局搜索方法，同时还可以在具有嘈杂梯度的地区保持稳健的性能。我们表明，我们的方法在模拟中的一组实验集上优于几个基于梯度和无梯度的基线，并且还使用具有真实机器人和变形物的实验验证该方法。视频和补充材料可从https://tinyurl.com/globdiff获得

可变形的物体操纵仍然是机器人研究中的具有挑战性的任务。用于参数推断和状态估计的传统技术通常依赖于状态空间的精确定义及其动态。虽然这适用于刚性物体和机器人状态，但定义可变形物体的状态空间并如何及时演变。在这项工作中，我们构成了作为用模拟器定义的概率推断任务的可变形对象的物理参数的问题。我们提出了一种用于通过技术从图像序列提取状态信息的新方法，以将可变形对象作为分布嵌入的状态提取。这允许以原则的方式将噪声状态观察直接进入基于现代贝叶斯模拟的推理工具。我们的实验证实，我们可以估计物理性质的后部分布，例如高可变形物体的弹性，摩擦和尺度，例如布和绳索。总的来说，我们的方法解决了概率的实际问题，并有助于更好地代表可变形对象状态的演变。

由于长时间曝光时间，传统的基于帧的相机不可避免地遭受运动模糊。作为一种生物启发相机，事件摄像机以具有高时间分辨率的异步方式记录强度变化，在曝光时间内提供有效的图像劣化信息。在本文中，我们重新思考基于事件的图像去掩盖问题并将其展开成为端到端的两级图像恢复网络。为了有效地利用事件信息，我们设计（i）专门用于图像去纹理的新型对称累积事件表示，以及（ii）在我们网络的多个级别应用的仿射事件图像融合模块。我们还提出了网络的两个阶段之间的事件掩码所连接的连接，以避免信息丢失。在数据集级别，为了促进基于事件的运动解训，并促进挑战真实世界图像的评估，我们介绍了在照明控制的光学实验室中使用活动摄像机捕获的高质量模糊（HQBLUR）数据集。我们的多尺度事件融合网络（MEFNET）设置了用于运动解训的新技术，超越了先前最佳的基于图像的方法和GoPro上的公共实现的所有基于事件的方法（高达2.38dB即使在极端模糊条件下，也是HQBLUR Datasets。源代码和数据集将公开可用。

There are multiple scales of abstraction from which we can describe the same image, depending on whether we are focusing on fine-grained details or a more global attribute of the image. In brain mapping, learning to automatically parse images to build representations of both small-scale features (e.g., the presence of cells or blood vessels) and global properties of an image (e.g., which brain region the image comes from) is a crucial and open challenge. However, most existing datasets and benchmarks for neuroanatomy consider only a single downstream task at a time. To bridge this gap, we introduce a new dataset, annotations, and multiple downstream tasks that provide diverse ways to readout information about brain structure and architecture from the same image. Our multi-task neuroimaging benchmark (MTNeuro) is built on volumetric, micrometer-resolution X-ray microtomography images spanning a large thalamocortical section of mouse brain, encompassing multiple cortical and subcortical regions. We generated a number of different prediction challenges and evaluated several supervised and self-supervised models for brain-region prediction and pixel-level semantic segmentation of microstructures. Our experiments not only highlight the rich heterogeneity of this dataset, but also provide insights into how self-supervised approaches can be used to learn representations that capture multiple attributes of a single image and perform well on a variety of downstream tasks. Datasets, code, and pre-trained baseline models are provided at: https://mtneuro.github.io/ .

假设在分类过程中可能存在未知类，则开放集识别（OSR）任务旨在将实例分类为已知类或拒绝为未知类别。在本文中，我们针对OSR问题使用了两阶段的培训策略。在第一阶段，我们引入了一种自我监管的特征解耦方法，该方法从已知类别中找到输入样本的内容特征。具体而言，我们的功能解耦方法学习了可以分为内容功能和转换功能的表示形式。在第二阶段，我们用类标签微调内容的功能。然后将微调的内容功能用于OSR问题。此外，我们考虑了一种无监督的OSR场景，我们将在其中从第一阶段学到的内容特征。为了衡量表示质量，我们引入内部内部比率（IIR）。我们的实验结果表明，我们提出的自我监督方法在图像和恶意软件OSR问题上的表现优于其他人。另外，我们的分析表明IIR与OSR性能相关。

现有的视频denoising方法通常假设嘈杂的视频通过添加高斯噪声从干净的视频中降低。但是，经过这种降解假设训练的深层模型将不可避免地导致由于退化不匹配而导致的真实视频的性能差。尽管一些研究试图在摄像机捕获的嘈杂和无噪声视频对上训练深层模型，但此类模型只能对特定的相机很好地工作，并且对其他视频的推广不佳。在本文中，我们建议提高此限制，并专注于一般真实视频的问题，目的是在看不见的现实世界视频上概括。我们首先调查视频噪音的共同行为来解决这个问题，并观察两个重要特征：1）缩减有助于降低空间空间中的噪声水平； 2）来自相邻框架的信息有助于消除时间上的当前框架的噪声空间。在这两个观察结果的推动下，我们通过充分利用上述两个特征提出了多尺度的复发架构。其次，我们通过随机调整不同的噪声类型来训练Denoising模型来提出合成真实的噪声降解模型。借助合成和丰富的降解空间，我们的退化模型可以帮助弥合训练数据和现实世界数据之间的分布差距。广泛的实验表明，与现有方法相比，我们所提出的方法实现了最先进的性能和更好的概括能力，而在合成高斯denoising和实用的真实视频denoisising方面都具有现有方法。

基于参考的图像超分辨率（REFSR）旨在利用辅助参考（REF）图像为超溶解的低分辨率（LR）图像。最近，RefSR引起了极大的关注，因为它提供了超越单图SR的替代方法。但是，解决REFSR问题有两个关键的挑战：（i）当它们显着不同时，很难匹配LR和Ref图像之间的对应关系； （ii）如何将相关纹理从参考图像转移以补偿LR图像的细节非常具有挑战性。为了解决RefSR的这些问题，本文提出了一个可变形的注意变压器，即DATSR，具有多个尺度，每个尺度由纹理特征编码器（TFE）模块组成，基于参考的可变形注意（RDA）模块和残差功能聚合（RFA）模块。具体而言，TFE首先提取图像转换（例如，亮度）不敏感的LR和REF图像，RDA可以利用多个相关纹理来补偿更多的LR功能信息，而RFA最终汇总了LR功能和相关纹理，以获得更愉快的宜人的质地结果。广泛的实验表明，我们的DATSR在定量和质量上实现了基准数据集上的最新性能。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

通常通过从单个组件的动力学上抽象来构建人口级动力学的模型来研究复杂的时变系统。但是，当构建人群级别的描述时，很容易忽略每个人，以及每个人如何贡献更大的情况。在本文中，我们提出了一种新颖的变压器体系结构，用于从时变数据中学习，该数据构建了个人和集体人口动态的描述。我们没有在一开始就将所有数据结合到我们的模型中，而是开发可分离的体系结构，该体系结构先在单个时间序列上运行，然后再将它们传递给它们。这会导致置换式属性属性，可用于跨不同大小和顺序的系统传输。在证明我们的模型可以应用于在多体系统中成功恢复复杂的相互作用和动力学之后，我们将方法应用于神经系统中的神经元种群。在神经活动数据集上，我们表明我们的多尺度变压器不仅会产生强大的解码性能，而且在转移方面提供了令人印象深刻的性能。我们的结果表明，可以从一种动物的大脑中的神经元学习并传递不同动物大脑中神经元的模型，并在集合和动物之间具有可解释的神经元对应。这一发现为解码并表示大量神经元的新途径开辟了一条新的途径。